Video-RSI: Recursive Self-Improvement of Video Understanding Agents via Harness Evolution
Video-RSI：通过 Harness 进化的视频理解 Agent 递归自我改进
🧭 Agent 自我改进与工具/harness 进化
Tsinghua University · Harbin Engineering University
让视频理解 Agent 用自身 LM 修正可执行 harness，通过主动回访视频与成本感知进化提升精度并降低视觉成本
📌 工作参考价值（4 点）
- 可将「看哪些帧/片段、调用哪些工具、如何利用观察」抽象成可执行 harness 层，在电商直播切片、商品视频理解等场景中，按准确率与视觉成本（如帧采样数、API 调用量）做多目标筛选与保留，控制推理成本。
- 失败诊断时不要只依赖当前执行 trace，可让 Agent 主动回访原始视频/用户行为序列等原始数据，用额外观察区分竞争性失败解释（是检索遗漏、描述丢失还是推理错误），这一思路可迁移到搜索推荐 Agent 的调试与自改进。
- 利用 Agent 自身 LLM 生成 harness 修订，并用验证集筛选可复用修改，形成递归自我改进闭环，减少人工调优工具/策略的工作量。
- 直接业务价值有限：论文面向视频理解基准，与电商推荐核心链路（召回、排序、query 推荐）结合度不高，但层次化工具控制与成本感知进化思路值得 Agent 架构设计参考。